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一 种 具有 平衡 标签 预测 能 力 的 在 线 哈 希 算 ; 
何 硕 , 谢 B 
(武汉 理工 大 学 理学 院 , 武汉 430070) 


Jj 要 : 针对 传统 离线 哈 希 算法 训练 模型 耗 时 、 占 用 内 存 大 和 不 易 更 新 模型 的 问题 ， 以 及 现实 图 像 集 的 标签 存在 大 
量 损失 的 现象 ， 提 出 了 一 种 能 够 平衡 标签 预测 的 在 线 哈 硕 工 法 (balancedlabel prediction for online hashing, BLPOH). 
BLPOH 通过 标签 预测 模块 生成 预测 标签 , 并 融合 残缺 的 真实 标签 , 能 够 有 效 缓解 因 标 签 损失 导致 的 模型 性 能 下 降 。 
观察 到 标签 存在 分 布 不 平衡 现象 ， 提 出 标签 类 别 相似 性 平衡 算法 并 应 用 于 标签 预测 模块 ， 提 升 标签 预测 的 准确 性 。 
将 旧 数 据 的 信息 加 入 哈 希 函数 的 在 线 更 新 过 程 ， 提 升 模型 对 旧 数 据 的 兼容 性 。 通 过 在 两 个 广泛 使 用 的 数据 集 上 进行 
实验 ， 并 和 一 些 当前 先进 的 算法 进行 对 比 ， 结 果 证 实 了 BLPOH 的 优越 性 。 
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Online hash algorithm with balanced label prediction ability 


He Shuo, Xie Liang! 
(School of Faculty of Science, Wuhan University of Technology, Wuhan 430070, China) 


Abstract: Aiming at the problems that the traditional offline hashing algorithm is time-consuming to train the model, occupies 
a large amount of memory and is difficult to update the model, and there is a large loss of labels in real image sets, this paper 
proposed a balanced label prediction for online hashing algorithm(BLPOH) . BLPOH generated predicted labels through the 
label prediction module, and fused the incomplete real labels, which can effectively alleviate the performance degradation of 


} the model caused by label loss. It observed that there is an imbalance in the distribution of labels, then proposed a label 
LO category similarity balance algorithm to apply to the label prediction module to improve the accuracy of label prediction. It 
added the information of old data to the online update process of the hash function to improve the compatibility of the model 
to the old data. By conducting experiments on two widely used datasets and comparing with some state-of-the-art algorithms, 
the results demonstrate the superiority of BLPOH. 
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z a 0 ”引言 一 次 性 从 所 有 数据 中 学 习 哈 希 函数 。 面 对 越 来 越 庞大 的 图 像 
> < 数据 集 ， 这 些 离线 哈 希 算 法 在 学 习 过 程 中 不 仅 占 用 大 量 的 内 
© 哈 希 算法 由 于 其 高 效 的 检索 能 力 和 占用 存储 低 的 特点 而 存 空间 ， 而 且 十 分 耗 时 。 不 仅 如 此 ， 每 当 新 数据 到 来 ， 离 线 
在 图 像 检 索 领域 一 直 备 受 关 注 。 哈 希 算法 把 高 维 的 图 像 特征 哈 希 算法 为 了 更 新 模型 不 得 不 重新 进行 训练 。 面 对 这 样 的 应 
决 射 到 一 个 低 维 的 二 值 空 间 口 ， 得 到 一 连 串 紧凑 的 哈 希 码 ， 用 场景 ， 在 线 哈 希 算法 (Online Hashing) 能 够 很 好 地 解决 这 些 
这 串 哈 希 码 保 留 了 图 像 间 的 相似 性 信息 所 。 正 是 由 于 哈 希 码 问题 。 在 线 哈 希 算 法 流 式 地 读 取 数 据 句 ， 每 次 只 从 一 个 数 # 
的 这 些 特性 ， 使 得 图 像 检 索 任 务 可 以 在 一 个 低 维 空间 高 效 地 ; 流 中 训练 并 更 新 模型 ， 占 用 空间 小 ， 训 练 模型 快 ， 并 且 易 了 
行 ， 而 哈 希 码 的 质量 也 就 成 为 影响 图 像 检索 性 能 的 关键 因素 。 更 新 模型 。 近 年 来 ， 研 究 者 们 提出 了 多 种 在 线 哈 希 算 法 。 作 
研究 者 们 致力 于 学 习 一 个 优秀 的 哈 希 函 数 ， 得 到 高 质量 为 代表 的 在 线 哈 希 算法 包括 在 线 核 哈 希 U0(Online Kernel 
的 哈 希 码 。Gionis 等 人 BI 提出 局 部 敏感 哈 希 算法 (Locality- Hashing, OKH)， 在 线 监督 哈 希 QU(Online Supervised Hashing, 
Sensitive Hashing, LSH)。LSH 是 一 种 无 监督 哈 希 算 法 ， 通 过 OSH， 自 适应 哈 希 QI(Adaptive Hashing, AdaptHash)， 在 线 草 
将 原始 数据 随机 映射 到 不 同 的 哈 希 桶 中 ， 然 后 经 过 符号 函数 图 哈 希 [31(Sketching Hashing, SketchHash)， 具 有 共同 信息 的 
得 到 哈 希 码 。Weiss 等 人 四 提出 谱 哈 希 算法 (Spectral Hashing, 在 线 哈 和希 04(Online Hashing with Mutual Information, 
SH). SH 以 图 像 分 割 的 思想 解决 图 像 特 征 的 编码 问题 。Wang MIHASH) 和 平衡 相似 性 在 线 离散 哈 希 [5] (Balanced Similarity 
等 人 喇 提 出 基于 半 监 督学 习 的 图 像 哈 希 检索 算法 (Semi- for Online Discrete Hashing, BSODH)， 高 效 更 新 哈 希 码 的 在 
Supervised Hashing, SSH)» Liu 等 人 中 提出 图 哈 希 算法 线 哈 希 (1 人 (Online Hashing with Efficient Updating of Binary Codes, 
(Hashing with Graphs, AGH). AGH 有 很 多 思想 源 于 SH， 不 OHWEU), IAIA 335p EE 5| 56 BI E ZE I ds Hadamard Matrix 
同 的 是 AGH 通过 数据 聚 类 中 心 和 数据 样本 点 之 间 的 近邻 图 Online Hashing, HMOH) 以 及 通过 哈达 玛 码 书 学 习 的 监督 在 线 


mi 


ui 


pi 


LL 


近似 样本 点 之 间 的 近邻 图 。Shen 等 人 中 提出 基于 有 监督 的 哈 IU Sl Online Hashing via Hadamard Codebook, HCOH). 

希 算法 (Supervised Discrete Hashing, SDH). SDH 通过 离散 循 虽然 这 些 在 线 哈 希 算法 解决 了 离线 哈 希 算 法 在 巨大 数据 

环 下 降 算 法 (Cyclic Coordinate Descent, DCC) 按 位 求解 哈 希 码 ， 集 上 较 难 训练 和 更 新 模型 的 问题 ， 但 是 它们 仍然 存在 一 些 

避免 松弛 化 求解 引起 的 次 优 问题 。 点 。 现 实 可 用 的 图 像 数据 集 总 会 由 于 图 像 标注 69 误差 造成 图 
然而 ， 以 上 提出 的 哈 希 算 法 都 是 通过 离线 学 习 吧 的 方式 像 标 签 的 缺失 ， 然 而 当前 的 在 线 哈 希 算 法 都 默认 用 到 的 数据 


收 稿 日 期 : 2022-02-25; 修 回 日 期 : 2022-04-26 
作者 简介 : 何 硕 (1997-)， 男 ， 河 南 驻 马 店 人 人， 硕士 研究 生 ， 主 要 研究 方向 为 图 像 哈 希 ; 谢 良 (1987-)， 男 (通信 作者 )， 副 教授 ， 博 士 ， 主 要 研究 方向 为 
多 媒体 大 数据 检索 、 语 义 分 析 与 跨 模 态 分 析 以 及 机 器 学 习 的 应 用 (whutxl@hotmail.com). 


202205.00044v1 


chinaXiv 


录用 定稿 


集 的 标签 是 完整 的 ， 这 造成 模型 精度 的 下 降 。 


以 BSODH 为 


例 ， 只 考虑 多 标签 数据 的 情况 下 ， 以 
一 个 标签 来 判断 它们 是 否 相 似 踢 ， 由 于 图 


丙 幅 图 像 是 否 
像 标签 


Exg gp 


不 完整 ， 


fp Hb S: 一 种 具有 平衡 标签 预测 能 力 的 在 线 哈 希 算 法 


本 文 的 主要 贡献 如 下 : 
a) 本 文 引 入 在 线 哈 希 算法 , 解决 了 离线 哈 希 在 巨大 数据 


导致 构造 的 图 像 标 签 相 似 性 矩阵 不 准确 
的 损失 。 


像 数据 集 上 训练 耗 时 ， 
练 的 问题 。 考 虑 到 


像 的 标签 ， 以 对 抗 图 像 标签 缺失 引 
标签 类 别 是 不 相似 的 ， 相 似 的 只 


3 少数 ， 


本 文 提 出 了 一 种 能 够 平衡 标签 预测 的 在 线 
(BLPOH)。 引 入 在 线 哈 希 算法 ， 避 免 离线 哈 希 算法 在 巨大 图 
5 用 内 存 大 和 加 入 新 数据 需要 重新 j 
现实 图 像 标签 存在 缺失 的 问题 ， 加 入 标签 
预测 户 ] 模 块 ， 通 过 图 像 相 似 性 和 标签 类 别 相 似 性 预测 近邻 图 
起 的 性 能 损失 。 由 于 
所 以 ， 标 签 类 别 


， 最 终 造 成 模型 精度 


全 希 算 法 


存 


在 不 平衡 现象 。 因 此 ， 在 标签 预测 
似 性 平衡 算法 ， 提 升 标签 预测 的 准确 性 。 
据 汉 明 距 离 23 的 退 
离 ， 使 | 


此 外 ， 


模块 设计 了 一 个 标签 类 别 相 


本 文 巧妙 地 根 


化 形式 度量 新 旧 数 据 之 间 哈 希 码 和 标签 的 距 
数据 的 信息 参与 哈 希 函数 的 在 线 更 新 。 本 文 在 MIR 


Flickr25k 和 NUS-WIDE 两 个 数据 集 上 进行 广泛 的 实验 , 并 和 一 


些 当 前 先进 的 算法 进行 对 比 以 证 明 BLPOH 的 优越 性 。 


已 经 存 
在 的 数据 


数据 流 


1.1 问题 定义 


给 出 一 个 多 标签 数据 集 , X=[%,…% ER 


例 ， 它 对 应 的 标签 是 Le 
数量 ， 
H B-Ib...b,Y et-Loy* ， 其 中 心 是 图 像 实 例 ox 


“， 是 实例 的 个 数 ， 


哈 希 码 向 量 ， 大 是 哈 希 码 的 位 数 。 一 般 情 况 下 ， 哈 希 函数 都 
采用 如 BSODH 的 线性 哈 希 映射 ， 为 了 适合 本 文 的 数据 处 理 


方式 ， 将 哈 希 函数 定义 为 
B-—F(X)-sgn(XW) 
其 中 ， 丈 是 投影 矩阵 。ssgnco 是 符号 函数 ， 当 变 
1， 和 否则 返回 -1 。 
Tg dE £u SE YE DEUS VR T X: 
Xi-DhesxVF* ER 表示 上 时 刻 到 来 的 
R" 表示 1 时 刻 已 经 存在 的 旧 数 


Xi = [Xir xl € 


在 1 时 刻 对 应 的 真实 标签 矩阵 = 人 8,… 
,表示 1 时 刻 数据 流 中 的 数据 量 ，m 表示 


L, =li- len 7 € 


集训 练 和 更 新 模型 难 的 问题 。 
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解 了 现实 图 像 数 据 标签 缺失 引起 的 性 能 下 降 问 题 。 
b) 本 文 考虑 到 标签 类 别 分 布 不 平衡 问题 , 在 标签 预测 模 


c) 本 文通 过 汉 明 距离 的 退化 


希 码 和 标签 的 相似 性 对 等 关系 ， 让 | 
数 的 在 线 更 新 ,解决 了 在 线 哈 希 在 | 
提升 哈 希 函数 对 | 


1 ”算法 框架 


1 展示 了 BLPOH 的 整体 框架 。 每 当 


块 设计 标签 类 别 相 似 性 平衡 算法 ， 提 升 预测 的 准确 性 。 
数据 之 间 哈 


形式 建立 新 | 


F 通 过 加 入 标签 预测 模块 ， 绥 


日 数据 的 兼容 性 。 


数据 的 信息 监督 哈 希 函 
数据 上 性 能 下 降 的 问题 ， 


据 到 来 


时 ， 通 过 找 出 


阵 ， 


把 该 矩阵 应 月 


日 到 标签 预 涡 


签 计算 图 像 标 签 相 似 性 矩阵 ， 


数据 流 中 有 新 数 
图 像 的 &K 近似 最 近邻 计算 图 像 相 似 性 算 


利 | 


联 ， 使 得 旧 数 据 的 信息 也 参与 至 


最 后 ， 通 过 哈 希 函数 计算 出 图 像 数 据 的 哈 希 码 。 


4 是 图 像 特征 的 维度 。 哈 希 函数 把 图 像 特 征 数据 


标签 预测 加 入 旧 数 据 信息 

图 像 标签 相似 性 秆 了 ， 

-AT3T5T-T---] | 
=o] 
CE 
-5|2 

图像 相 似 性 矩阵 日 数据 哈 希 码 

i [1T9T9T9T---] EINE 
»[0]1|1[0]- EDT 
| EETETOSTOT: zit 
| TOT II EE 
图 1 算法 框架 图 


Fig.1 Algorithm framework diagram 
表 1 介绍 了 本 文 主要 的 变量 及 其 定义 。 


表示 图 像 特征 


集 ，L=[4,.…4 了 EN 表示 标签 集 ， 其 中 eR 是 第 i 个 图 像 实 


u 是 标签 类 别 
决 射 
对 应 的 二 进 制 


(1) 
量 x>0 时 返 下 


Ax, Hp 
新 数据 ， 
据 ， 以 及 它们 
Ly ew" 和 


1 时 刻 已 经 存在 的 数据 量 。 对 应 地 ， 把 1 时 刻 数据 流 中 的 新 数 


据 对 应 的 哈 希 码 和 矩阵 表示 为 及 =sgnCXIY = [bis bn T ELH ， 
数据 对 应 的 哈 希 码 矩 
Bin ELH 。 在 本 文 的 在 线 蛤 希 算 法 中 ， 


把 1 时 刻 已 经 存在 的 | 
B; -sgn(X;W') —-[D5..... 
随 着 新 数据 xe 的 到 来 ， 以 在 线 的 方式 更 新 :时 
A 


Y? =[Yis Jio, 


Y e(-L 21v» 


, 把 


阵 表 示 为 


刻 的 哈 希 码 投 


阵 W'。 把 1 时 刻 数 据 流 对 应 的 预测 标签 矩阵 表示 为 
已 经 存在 的 旧 数 据 对 应 的 预测 标 


A ^B ERIR JJ Yt Diao T et-ltm ，-1 表示 没有 该 标签 ， 


1 ez 


有 该 标签 。 


更 新 哈 希 函数 和 
哈 希 码 


G] 


表 1 


Tab. 1 


Introduction to 


关键 变量 的 介绍 


key variables 


1 当中 。 然 后， 通过 预测 的 标 
该 矩阵 与 旧 数 据 建立 关 
I 哈 希 函数 的 在 线 更 新 过 程 。 


变量 


定义 


om m oNoNOM OM 


Vi 


1 时 刻 的 数据 流 


1 时 刻 已 经 存在 的 旧 数 据 


} 刻 数据 流 X; 对 应 的 预测 标签 矩阵 
| 刻 旧 数据 Xi 对 应 的 预测 标签 矩阵 


才 刻 数据 流 X; 对 


A 
TAH ES 


m X: 对 


应 的 哈 希 码 矩 阵 
应 的 哈 希 码 矩 阵 


村 刻 哈 希 函数 对 应 的 投影 矩阵 


1 时 刻 XE Y? 


间 的 投影 矩阵 


1.2 模型 框架 


1.2.1 标签 预测 及 标签 类 别 相似 ， 
正如 前 面 提 到 的 ， 现 实 可 月 
误差 导致 数据 集 
PUE NYA N 
受到 文献 [21] 
的 情况 下 ， 一 个 图 
近似 地 表示 。 类 


题 。 


AM 


生平 衡 
上 的 图 像 数 据 集 总 会 
的 标签 存在 缺失 。 考 虑 到 这 种 情况 ， 本 文通 
I 模块 来 对 抗 标签 缺失 引起 
的 启发 ， 在 假设 标签 类 别 相似 矩阵 和 


于 标注 


像 实 例 的 标签 可 以 ! 


的 模型 精度 下 降 问 


CLA 


以 地 ， 一 个 图 像 实例 的 标签 也 可 以 1 


的 最 近邻 近似 地 表示 。 建立 如 文献 [21] 的 标 
得 到 1 时 刻 的 关系 表达 公式 : 


该 图 像 实例 的 最 近邻 


该 标签 


签 预测 正则 化 项 ， 


min]: Qr. st Yi eae O) 
其 中 ， Si 是 1 时 刻 通过 图 像 的 K 近似 最 近邻 计算 得 到 的 图 像 
实例 间 的 相似 性 矩阵 。llls 表示 Frobenius 范 数 。 


和 文献 [21] 不 同 的 是 ， 本 文 创新 折 


的 提出 标签 类 别 相 似 
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lim 
n 


为。 为 了 解决 这 个 问题 , 本 文 将 标签 类 别 相 似 和 矩阵 分 为 2， 


和 


E, 以 此 让 标签 类 别 相似 性 向 标签 对 不 相似 的 方向 偏 移 。 


à- d Q; >0 
" imQj Q; <0 


化 线性 


二 和 到 是 相似 的 ， 那 么 它们 就 有 相似 的 标签 矩阵 ， 而 且 ! 
希 函 数 的 特性 可 知 ， 哈 希 码 保留 了 数据 间 的 相 

此 能 够 通过 哈 希 码 和 标签 数据 建立 新 数据 和 旧 数 据 之 间 的 相 
似 性 对 等 关系 。 考 虑 到 ， 当 哈 希 码 以 -1 和 1 表示 时 ， 那 么 哈 
AAI b 和 2b 之 间 的 汉 明 距离 就 可 以 表示 为 


其 中 ， ,表示 较 小 的 权重 ，w 表示 较 大 的 权重 。 


1.2.2 映射 关系 及 其 损失 函数 的 定义 


此 外 , 建立 X 到 预测 标签 了 的 线性 映射 关系 , Y 以 xv 


示 ， 建 立 ! 时 刻 XV' 和 的 F 范 数 损失 : 


min || XV" —Y; |; 
i s f 


min || X:W* — B: |: 
We 


1.2.3 1E Zt 4E 89 48 8 5 "B f cA HE 

以 汉 明 距离 度量 两 个 维度 相同 的 向 量 之 间 的 距离 。 如 果 
两 个 数据 越 相似 ， 则 它们 对 应 的 二 进 制 哈 希 码 之 间 的 汉 明 距 
离 越 小 ， 反 之 越 大 。 在 训练 新 数据 和 更 新 模型 的 同时 ， 得 到 
的 新 模型 应 该 同样 适用 于 旧 数 据 。 因 此 ， 从 数据 流 中 训练 模 
型 的 同时 ， 应 该 把 旧 数 据 的 信息 考虑 在 内 。 考 虑 到 如 果 数 据 


Q 两 部 分 , 它们 分 别 表示 相似 标签 对 和 非 相似 标签 对 ,对 
5 ， 给 它 分 配 一 个 较 小 的 权重 ， 而 给 Qs 分 配 一 个 较 大 的 权 


T 


对 


没有 添加 标签 类 别 相似 性 平衡 算法 的 模型 ， 为 了 达到 和 添 
加 该 算法 的 模型 同等 精度 ， 需 要 迭代 更 多 的 次 数 ， 导 致 在 相 
同 迭 代 次 数 下 预测 的 标签 的 准确 性 和 预测 的 收敛 速度 都 较为 
低下 。 将 标签 类 别 相似 性 平衡 算法 的 公式 定义 如 下 : 


G3) 


表 


(4) 


哈 希 算法 的 目的 是 学 习 一 个 哈 希 函数 ， 根 据 式 (1)， 最 小 
EIRAS KA F AN X: RRA B: ANRE, 建立 公式 : 


(5) 


以 性 关系 ， 


A 
因 


h-M2(k- «b, b, >) 


Hrp, «hb RIR b RI b 的 内 积 。 


(6) 


同样 ， 对 于 某 个 标签 类 别 ， 以 -1 和 d 分 别 标识 数据 没有 


该 标签 和 拥有 该 标签 。 最 小 化 两 者 间 的 范 数 损失 得 ; 


min | BB -S; |} 


st. B! e(-L1)»*, Br e(-11)"* 


其 中 ， Si 是 标签 相似 性 矩阵 。 


签 上 ， 即 将 
测 标签 矩阵 中 ， 充 分 利用 已 经 存在 的 真实 标签 信息 ， 进 
提升 模型 的 精度 。 因 为 只 需要 利用 标签 存在 的 信息 ， 所 以 把 
五 和 五 中 值 为 -1 的 位 置 蔡 换 为 0， 为 1 的 位 置 不 变 ， 分别 用 
AW AXGR. Si 的 计算 定义 如 下 : 


1.3 算法 优化 
于 存在 二 进 制 约束 问题 ， 所 以 采用 迭代 的 方式 进行 求 
解 ， 在 更 新 一 个 变量 时 固定 其 他 变量 ， 把 其 他 变量 当 作 常 和 
处 理 。 
1) Edw: ”国定 QQ，B，B，V' 和 ,然后 学 习 Wi'。 
求解 W' 的 子 问 题 是 : 


为 了 有 效 利用 存在 损失 的 真实 标签 信息 ， 在 计算 标签 相 


(7) 


似 性 矩阵 % 时 ， 将 存留 的 真实 标签 信息 附加 到 对 应 的 预测 标 
实 的 标签 矩阵 中 为 1 处 的 值 加 到 对 应 位 置 的 预 


Si 2kQ + AY; ADF fu 
£x E, gw. BLPOH 的 模型 公式 : 
o, Bin, , lI? -SY e + 
a || BE -Si | +2 || XW" — B: |l} + 
e| XV! -Y; |B «Aq || +V ll) 
st. B! e(-L1)*, Bi e(-L1)"*, Y; e(-L1)" 


步 


(8) 


(9) 


il 


i 
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性 平衡 算法 。 标 签 类 别 相似 性 平衡 算法 基于 标签 类 别 分 布 不 
平衡 现象 绝 大 多 数 标 签 对 是 不 相似 的 ， 少 数 标签 对 是 相似 


min £ || XtW' -BB +A w |) (10) 
Kb, P AERO ARAE: 
W' =p (P'X1 X! +417 X1 B; (11) 
其 中 ， 工 是 一 个 dxd 的 单位 矩阵 。 
2) 更 新 V': 和 更 新 Wi 一 样 ， 固定 Qt, B,EB, wY, 
|a 62] V 。 求 解 的 子 问 题 是 : 
minc || XV" —Y7 |p -AQ| V* |[z) (12) 
Kb, RIULEHSI v: 的 闭 式 解 : 
V =c (S XTX; cMD'XTY; (13) 
3) Sr B: : 同样 固定 其 他 所 有 变量 , 更 新 及 o RiT NE: 
mina || BE? -Si lẹ st. Bre(-Llyv a4) 
类 似 文献 [23]， 式 (14) 又 可 以 退化 为 求解 : 
min || RB -Si sr. Brett (15) 
求解 式 (15)， 得 
B; =sgn(S/7B:) e{—l,1y"* (16) 


4) EIB: 固定 其 他 所 有 变量 , 562] Bc. 求解 子 问 题 为 


mina || BE —S; |} - 8| XW' -B; |} 


17 
st. Bi e(-1,1]* (17) 
展开 式 (17) 为 
min a(|| BiB | || St |} 2078: B? S17)) + 
BB: f | WX | -24r (WT X77) (18) 
st. Bi e(-11)v* 
式 (18) 可 以 简化 为 
mina || B:B7 |} 22tr(e BL BT SI" + BB:W'T X7) 
i (19) 


st. B! e(-L1jv* 


和 BSODH 类 似 ， 使 P=cBzsr+EW7XZ7 ， 得 到 ; 


mina || B1B% |f -2z(BP) 
5 terml termll (20) 
st. B' e(-11yv* 


Hp, term=bb +BB ， terml[=b,p,+BP,，b,,，b, 5 分 别 
代表 代表 及 ，B&& ，P 的 第 r 行 ， B. B, PORRER T b, 
Bo. BAFI. 
式 (20) 转 换 为 


mina || bb" + BB 220m, b) - 


P - (21) 
2tr(B!P) s.t. bt, e(-11)** 

求解 式 (21)， 得 

b; -sgn( 5^ -aBr bs) e {—1,1}™* (22) 

ERORE T, RAH B 。 

S) 更 新 W : 固定 其 他 所 有 变量 ， 学 习习 。 求 解 子 问题 为 


min || Y; -57Y70: |} +6 || XiV' -Y: f 


st. Y; e(-L1yvw Q3) 
将 式 (23) 转 换 为 普通 的 线性 方程 : 
(MTM -*cI |. V)Vec(Y;) » Vec(gX1V') Q4) 


HEH, M-I V-L.S, L.S-Q"GS;, &j&é Kronecker $R, 
IV 是 一 个 un, xun, 的 单位 矩阵 。 
6) 更 新 2 : 固定 其 他 所 有 变量 ,更 新 2 。 IJEM RHE Y: 


类 似 ， 得 


ALOS GS1Y:))Vec(Q!) = Vec(GS]Y; Y Y1) Q5) 
其 中 ，7_ 工 是 一 个 uuxuu 的 单位 矩阵 。 
算法 1 BLPOH 的 描述 
输入 : 数据 集 X ， 哈 希 码 位 数 k， 数 据 流 大 小 nn， SR, B, S, 
A, nns 和 图 像 的 最 近邻 个 数 及 。 
输出 :WW 和 B， 其 中 W=W'，B=sgn(XW) 。 
a) 对 数据 集 X 进行 归 一 化 处 理 ， 并 根据 从 XX 中 切 分 出 X +， 随机 
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初始 化 W' 和 V' ,初始 化 Q 为 一 个 单位 矩阵 , 并 计算 初始 的 肪 入。 是 MIR Flickr25k 时 , 实验 设置 参数 a = P =0.8, € =0.9, 4 =0.6， 


b) 根据 KK 计算 X: 中 数据 间 的 相似 性 矩阵 S! 。 流 数据 量 为 200， 最 近邻 到 =10， =0.4，mw =1。 当 数据 集 是 
c) 根据 式 (11) 和 (13) 分 别 更 新 W' 和 VV' 。 NUS-WIDE 时 , 实验 设置 参数 &=p=s=0.9，4 =0.1, 流 数据 
d) 根据 式 (16) 更 新 E. 量 为 200, 最 近邻 XK =12，7,=0.2，m =1。 本 文 使 用 平均 精度 
e) 根据 式 (22) 人 迭代 更 新 及 。 均值 (Mean Average Precision, MAP) 作 为 度量 的 标准 来 评估 这 
f) 根据 式 (24) 和 (25) 分 别 更 新 下 和 Ci 。 些 算 法 的 性 能 。 
g) WEXi-IX5X0, BE-IB5 B], Yr -DYX5Y0 , JM x 中 切 分 出 2.39 实验 结果 
下 一 次 的 Xio 2.3.1 MAP 对 比 
h) EADIE b)-g). K 2~4 和 图 2 展示 了 BLPOH 和 对 比 算法 在 数据 集 为 


MIR Flickr25k 和 NUS-WIDE, 并 且 标 签 损失 率 分 别 为 {0,20%， 


2 ”实验 与 分 析 


4096, 6096, 80%} 时 不 同 哈 希 码 位 数 下 的 MAP 结果 对 比 和 变 
2.1 数据 集 化 曲线 。 
在 这 篇 文章 中 ， 本 文 在 两 个 公开 可 用 的 数据 集 上 进行 实 如 表 2 所 示 ， 在 数据 集 MIR Flickr25K 的 不 同 标签 损失 


验 。 为 了 更 准确 地 模拟 图 像 标 签 损 失 的 情况 ， 需 要 构造 确定 。 率 下 ，BLPOH 的 MAP 始终 高 于 其 他 所 有 对 比 算法 。 其 中 ， 
示 签 存在 损失 的 数据 集 。 首 先 ， 从 数据 集中 筛选 出 具有 特定 。 HMOH 和 OHWEU 的 整体 效果 和 BLPOH 较为 接近 ， 
标签 数量 以 上 的 数据 ， 建 立 实验 所 需 的 图 像 数 据 集 和 对 应 的 ” AdaptHash 的 整体 效果 相 比 最 差 。 在 NUS-WIDE 数据 集 下 ， 
示 签 集 。 然 后 ， 本 文 使 用 卷 积 神经 网 络 VGG-16 对 图 像 数 据 ” 当 标 签 损失 率 为 0 的 时 候 ，BLPOH 的 MAP 高 于 除 HMOH 
进行 特征 提取 ， 提 取 的 特征 维度 为 4096。 同 时 ， 对 图 像 对 应 — 外 的 其 他 对 比 算法 ， 当 标签 损失 率 继续 上 升 时 ，BLPOH 的 
的 标签 集 进 行 编码 ， 建 立 标签 矩阵 ， 为 了 模型 计算 相似 度 的 ^ MAP 超过 包括 HMOH 在 内 的 所 有 对 比 算法 ,证 明了 BLPOH 
需要 ， 如 果 一 个 图 像 包 含 该 标签 ， 就 把 该 标签 所 在 位 置 标识 ”的 优越 性 能 。 从 和 HMOH 在 数据 集 NUS-WIDE 下 的 结果 中 
为 1， 和 否则 为 -1。 最 后 ， 像 文献 [21] 那 样 考 虑 不 完整 标签 率 ， 可 以 看 出 , 当 没有 标签 损失 时 , HMOH 的 MAP 高 于 BLPOH,， 
随机 丢弃 训练 数据 {0%, 2096, 4096, 60%, 80%} 的 标签 ， 分 别 当 标 签 损 失 率 上 升 到 20% 及 以 后 时 , BLPOH 的 MAP 超过 了 
建立 这 五 种 状态 下 的 子 数据 集 。 MOH， 证 明了 BLPOH 对 抗 标签 损失 的 有 效 性 。 在 实际 应 

MIR Flickr25k 数据 集 包含 25000 张 图 像 数 据 和 24 个 标 用 中 , 标签 的 损失 程度 可 能 会 非常 严重 , BLPOH 更 适用 于 仿 
签 类 别 ， 本 文 筛 选 具有 3 个 及 3 个 以 上 标签 数量 的 数据 ， 总 际 情 况 。 


m È T 


T 


Jtügxei 17568 张 图 像 。 在 提取 完 图 像 特征 和 建立 标签 矩阵 2 给 出 了 BLPOH 和 对 比 算法 在 数据 集 MIR Flickr25k 
之 后 , 再 以 {0%, 2096, 4096, 6096, 8096) 的 比率 随机 丢弃 标签 ， 和 NUS-WIDE 不 同 哈 希 码 位 数 下 的 MAP 随 标签 损失 率 上 升 
模拟 数据 标签 丢失 标签 的 情况 。 实 验 中 ， 除 了 分 析 数 据 库 的 ”的 变化 图 。 从 中 可 以 看 出 ， 在 不 同 数据 集 和 不 同 哈 希 码 位 数 


数量 对 实验 结果 影响 的 实验 ， 对 于 其 他 的 实验 ， 本 文 从 挑选 的 情况 下 ，BLPOH 的 MAP 的 下 降 更 加 平缓 ， 且 多 数 情 况 下 
出 的 17568 个 图 像 数据 中 随机 选择 12400 个 作为 实验 的 数据 ”总 能 保持 更 高 的 水 平 。 

fg, 其 中 10000 个 作为 数据 库 用 作 训 练 , 剩 下 的 2400 个 图 像 ” 2.3.2 关键 参数 灵敏 度 分 析 

数据 用 作 查 询 集 。 本 小 节 分 析 标 签 类 别 相似 性 权重 参数 ms 入 对 实验 结 
NUS-WIDE 数据 集 包含 269648 张 图 像 数 据 和 81 个 标签 果 的 影响 。 在 实验 中 , WA m=, 并 通过 改变 /mw 的 大 小 来 
类 别 , 本 文选 择 出 现 最 多 的 21 个 类 别 作 为 标签 。 处理 过 程 和 ” ” 分 析 它 们 对 实验 结果 的 影响 。 从 图 3(a) 可 以 看 出 ， 在 数据 集 
MIR Flickr25k 类 似 ， 总 共 筛 选 出 57073 张 图 像 数 据 ， 并 从 中 MIR Flickr25k E, 4 m/m 的 值 介 于 (0.3, 0.5) 时 ，MAP HIN 
随机 选择 12100 个 作为 实验 的 数据 集 ， 其 中 10000 个 作为 数 ” 最 大 值 ， 当 m/m Æ 0.8 以 后 MAP 大 幅 下 降 ， 当 /m=1 时 
据 库 用 作 训 练 ， 剩 下 的 2100 个 图 像 数 据 用 作 查 询 集 。 MAP 的 值 最 低 , 此 时 表示 的 是 没有 使 用 标签 类 别 相似 性 平衡 
2.2 基准 方法 与 评估 指标 算法 的 MAP, 最 终 本 文选 取 丸 =04， =1 作 为 实际 参数 值 。 
本 文 以 一 些 前 沿 的 在 线 哈 希 算法 作为 基准 方法 ， 包 括 ” 如 图 3(b) 所 示 ， 在 数据 集 NUS-WIDE 上 ，7/m =02 时 MAP 
BSODH, MIHASH, OKH, AdaptHash, SketchHash, HMOH ” 最 高 ， 当 /m=1 时 MAP RIR, RARE n =02, m =1 作为 
和 OHWEU. 实验 时 , BLPOH 和 对 比 算法 对 比 使 用 的 数据 集 实际 参数 值 。 从 标签 类 别 相似 性 权重 比值 在 两 种 数据 集 上 的 
和 数据 集 的 标签 损失 率 等 设 定 完全 一 致 ， 对 于 每 个 对 比 算法 表现 可 以 看 出 ， 没 有 使 用 标签 类 别 相似 性 平衡 的 MAP 总 是 
的 参数 ， 专 门 设 定 使 其 得 到 最 好 的 效果 。 实 验 设备 的 操作 低 于 使 用 标签 类 别 相 似 性 平衡 的 ， 这 证 明了 标签 类 别 相似 性 
统 为 Windows10，CPU 为 R5-3600， 内 存 为 32G。 当 数据 集 ”平衡 对 BLPOH 的 有 效 性 。 
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表 2 在 MIR Flickr25k 4l NUS-WIDE 上 且 哈 希 码 位 数 为 32 时 的 MAP 
Tab.2 The MAP of MIR Flickr25k and NUS-WIDE when the hash bits is 32 


T MIR Flickr25k NUS-WIDE 

pe 0 20% 40% 60% 80% 0 20% 40% 60% 80% 
BSODH 0.716 0.714 0.636 0.503 0.260 0.843 0.769 0.662 0.496 0.282 
MIHASH 0.836 0.736 0.553 0.370 0.207 0.850 0.714 0.534 0.347 0.201 
OKH 0.797 0.692 0.532 0.363 0.199 0.855 0.719 0.535 0.357 0.204 
AdaptHash 0.783 0.672 0.523 0.352 0.205 0.856 0.719 0.540 0.359 0.203 
SketchHash 0.803 0.697 0.544 0.373 0.216 0.869 0.736 0.553 0.369 0.211 
HMOH 0.837 0.767 0.653 0.523 0.267 0.883 0.799 0.683 0.530 0.279 
OHWEU 0.789 0.737 0.647 0.506 0.306 0.869 0.792 0.680 0.520 0.292 


BLPOH 0.872 0.812 0.714 0.562 0.336 0.881 0.802 0.703 0.532 0.303 
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图 3 


标签 类 别 相似 性 权重 比值 对 实验 结果 的 影 
Fig.3 The effect of label category similarity weight ratio on results 
2.3.3. 数据 库 样 本 数量 对 实验 结果 的 影响 

BLPOH 是 一 种 基于 在 线 哈 希 的 改进 算法 ， 为 了 测试 
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表 3 在 MIR Flickr25k 和 NUS-WIDE 上 且 哈 希 码 位 数 为 64 时 的 MAP 
Tab.3 The MAP of MIR Flickr25k and NUS-WIDE when the hash bits is 64 
" MIR Flickr25k NUS-WIDE 
pe 0 2096 40% 60% 80% 0 20% 40% 60% 80% 
BSODH 0.717 0.725 0.642 0.494 0.261 0.842 0.765 0.651 0.501 0.279 
MIHASH 0.851 0.734 0.576 0.396 0.229 0.858 0.741 0.559 0.356 0.205 
OKH 0.810 0.699 0.552 0.373 0.220 0.856 0.726 0.546 0.362 0.208 
AdaptHash 0.769 0.661 0.513 0.357 0.204 0.855 0.720 0.537 0.357 0.203 
SketchHash 0.809 0.704 0.551 0.379 0.220 0.872 0.740 0.557 0.372 0.213 
HMOH 0.852 0.781 0.667 0.534 0.272 0.885 0.803 0.691 0.532 0.274 
OHWEU 0.806 0.750 0.663 0.524 0.311 0.873 0.805 0.694 0.531 0.296 
BLPOH 0.873 0.817 0.720 0.568 0.342 0.882 0.812 0.709 0.534 0.311 
表 4 在 MIR Flickr25k 和 NUS-WIDE 上 在 哈 希 码 位 数 为 128 时 的 MAP 
Tab.4 The MAP of MIR Flickr25k and NUS-WIDE when the hash bits is 128 
、 MIR Flickr25k NUS-WIDE 
方法 0 20% 40% 60% 80% 0 20% 40% 60% 80% 
BSODH 0.715 0.716 0.637 0.499 0.258 0.847 0.771 0.658 0.502 0.278 
MIHASH 0.857 0.751 0.593 0.405 0.235 0.854 0.714 0.550 0.366 0.206 
OKH 0.820 0.713 0.558 0.384 0.222 0.857 0.725 0.549 0.366 0.210 
AdaptHash 0.775 0.684 0.514 0.345 0.201 0.855 0.721 0.539 0.359 0.205 
SketchHash 0.817 0.713 0.559 0.385 0.224 0.875 0.745 0.562 0.376 0.215 
HMOH 0.854 0.781 0.662 0.536 0.274 0.886 0.811 0.689 0.533 0.278 
OHWEU 0.822 0.759 0.670 0.537 0.315 0.882 0.812 0.703 0.534 0.308 
BLPOH 0.876 0.817 0.725 0.573 0.346 0.885 0.817 0.712 0.539 0.316 
° O ankro © i 75 Musee (0 di i um " 
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图 2 标签 损失 率 对 实验 结果 的 影响 
Fig.2 The effect of label loss rate on results 
0.89 0. 80 BLPOH 作为 在 线 哈 希 算法 的 检索 性 能 ， 本 文 分 析 了 BLPOH 
0.88 [TP 的 实验 结果 随 数据 库 样 本 增加 的 变化 情况 。 设 置 MIR 
0.87 QUU Flickr25k 和 NUS-WIDE 查询 集 的 数量 分 别 为 2400 和 2100, 
Tos EL 剩 下 的 用 作 训练 。 如 图 4(a) 所 示 ， 数 据 集 为 MIR Flickr25k， 
0.85 0.85 当 数 据 库 的 样本 数量 为 2000 时 ，BLPOH 的 MAP 较 其 他 五 
人 0.3 0.5 0.7 0.9 umm 0.3 0.5 0.7 0.9 种 情况 最 差 ， 当 样 本 数量 在 4000 以 后 ， MAP 逐渐 增加 ， 当 
标签 类 别 相似 性 权重 比值 标签 类 别 相 似 性 权重 比值 样本 数量 为 10000 时 ，BLPOH 的 MAP 基本 趋 于 稳定 。 如 图 
(a)MIR Flickr25k 数据 集 (b)NUS-WIDE 数据 集 4(b) 所 示 , BLPOH 在 NUS-WIDE 数据 集 下 的 MAP 从 数据 库 


样本 数量 为 2000 开始 逐渐 上 升 ， 在 样本 数量 为 8000 时 趋 于 


2.3.4 标签 类 别 相 似 性 平衡 算法 对 实验 结果 的 影响 
在 算法 优化 过 程 中 ， 本 文 把 优化 预测 标签 矩阵 Y: 和 标签 类 


v1 


A 


é 


A 


| 
LI 


, 


0 
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别 相似 性 矩阵 2 转换 为 求解 对 应 的 线性 方程 组 , 即 式 (23) 和 (24)。 


在 实际 编程 计算 中 ， 本 文 使 用 预 条 件 共 轿 梯度 法 (Preconditional 
Conjugate Gradient, PCG) 对 式 (23) 和 (24) 进 行 求解 。 

本 节 通 过 PCG 的 收敛 位 置 来 分 析 标 签 类 别 相似 性 平衡 
对 BLPOH 的 影响 。 以 NUS-WIDE 数据 集 下 的 标签 预测 和 求 


一 种 具有 平衡 标签 预测 能 力 的 在 


的 大 小 ， 并 使 模型 契合 当前 的 数据 


实时 性 。 
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且 ， 让 | 


提升 哈 希 函数 对 旧 数 据 的 兼容 性 。 


据 标签 存在 


出 标签 类 别 


解 标签 类 别 相 似 性 矩阵 为 例 。 如 图 5(a) 所 示 ， 在 每 次 数据 流 


到 来 并 进行 标签 预测 时 ， 使 用 标签 类 别 相似 性 平衡 算法 总 能 
比 未 使 用 标签 类 别 相似 性 平衡 算法 收敛 的 更 快 ， 且 每 次 收敛 
的 位 置 变化 较 小 ， 表 现 更 稳定 。 同 样 地 ， 如 图 SO) ER 
标签 类 别 相似 性 和 矩阵 时 ， 使 用 标签 类 别 相似 性 平衡 算法 相 比 
未 使 用 标签 类 别 相似 性 平衡 算法 的 表现 也 相对 稳定 一 些 。 
0.90 0.90 
0.89 | 0. 89 
0. 88 0. 88 uen e ce M RN 
0.87 0.87 
Eose | Z0. 86 
0.85 | 0.85 
0.84 0.84 
0.83 0.83 
0 
样本 数量 样本 数量 
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图 4 不 同样 本 数量 对 实验 结果 的 影响 
Fig.4 The effect of different sample sizes on results 
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(a) 标 签 预测 (b) 求 解 标签 类 别 相似 性 矩阵 


图 5 标签 类 别 相似 性 平衡 对 不 同 求解 过 程 收敛 位 置 的 影响 
Fig. 5 


Influence of label categories similarity balance on convergence 
location of different solution processes 
2.3.5 图 像 实例 的 检索 效果 
为 了 展现 BLPOH 的 实际 检索 效果 ， 本 文 和 BSODH 在 
数据 集 MIR Flickr25K 中 的 图 像 实例 检索 效果 进行 对 比 。 
实验 时 ， 从 MIR Flickr25K 数据 集中 选取 一 张 图 像 ， 根 
据 相 同 条 件 下 训练 出 的 模型 返回 前 5 张 最 相似 的 图 像 。 结 
如 图 6 所 示 ， 图 像 下 的 文本 为 该 图 像 的 标签 。 根 据 BLPOH 
训练 的 模型 返回 了 5 张 人 像 ， 而 根据 BSODH 训练 的 模型 返 
了 4 张 人 像 和 一 张 动物 的 图 像 。BLPOH 的 检索 效果 明显 
优 于 BSODH. 
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图 6 blpoh 和 bsodh 在 mir flickr25k 中 的 实例 检索 
Fig.6 Instance retrieval ofthe algorithm in this paper and bsodh in mir flickr25k 
3 RA 


本 文 提 出 了 改进 的 在 线 哈 希 算法 ， 流 式 地 读 取 数据 ， 以 
在 线 的 方式 训练 和 更 新 模型 ， 使 得 算法 模型 不 受制 于 数据 集 


T 


标签 更 加 精 
提升 模型 精 


相似 性 平衡 算法 


EE ERAH 
数据 的 信息 监督 哈 希 函数 的 在 线 更 新 ， 
比 外 ， 考 虑 到 现实 图 像 数 
缺失 的 问题 ， 加 入 标签 预测 模块 ， 并 且 新 颖 地 
去 ， 指 导 标 签 的 预测 ， 


良好 的 


记得 预测 


确 ， 也 提升 了 图 像 标签 相似 度 的 ; 


度 。 此 外 ， 本 文 的 标签 预测 模块 不 仅 能 让 模型 


确 性 ， 进 


够 很 好 地 对 抗 标签 缺失 ， 并 且 在 标签 损失 率 不 断 上 升 时 ， 
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降 ， 在 标签 存在 缺失 


能 够 使 模型 的 性 能 以 较 平缓 的 速度 


在 线 图 像 检 索 任务 中 具有 良好 的 应 用 前 景 。 然 而 ， 本 文 的 标 
签 预测 模型 比较 单一 ， 模 型 的 健壮 性 并 不 能 令 人 非常 满意 ， 
所 以 在 今后 的 工作 中 考虑 加 入 集成 学 习 的 思想 提升 模型 的 健 
壮 性 。 
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